Trước năm 2009, địa bàn huyện Bù Gia Mập ngày nay là một phần huyện Phước Long cũ.

Ngày 11 tháng 8 năm 2009, Chính phủ ban hành Nghị quyết số 35/NQ-CP[2]. Theo đó, chia huyện Phước Long thành hai đơn vị hành chính là thị xã Phước Long và huyện Bù Gia Mập.

Từ đó đến cuối năm 2014, huyện Bù Gia Mập có 18 đơn vị hành chính trực thuộc, gồm 18 xã: Bình Thắng, Bù Gia Mập, Đa Kia, Đắk Ơ, Đức Hạnh, Phú Nghĩa (huyện lỵ), Phú Văn, Phước Minh, Phú Riềng, Phú Trung, Bù Nho, Long Tân, Long Bình, Long Hà, Long Hưng, Phước Tân, Bình Tân, Bình Sơn.

Ngày 11 tháng 5 năm 2015, Ủy ban Thường vụ Quốc hội ban hành Nghị quyết 931/UBTVQH13[4]. Theo đó, tách 10 xã Phú Riềng, Phú Trung, Bù Nho, Long Tân, Long Bình, Long Hà, Long Hưng, Phước Tân, Bình Tân, Bình Sơn để thành lập huyện Phú Riềng.

Huyện Bù Gia Mập còn lại 8 xã như hiện nay.